Mackensen sinh ra ở Haus Leipnitz gần làng Dahlenberg (nay thuộc đô thị Trossin), trong một gia đình trung lưu khá giả ở tỉnh Sachsen (Phổ). Ông xung phong nhập ngũ trong Trung đoàn Khinh kỵ binh Hộ vệ 2 (Phổ) vào ngày 1 tháng 10 năm 1869, và tham chiến trong Chiến tranh Pháp Phổ 1870-71. Trong cuộc chiến này Mackensen đã được phong cấp Thiếu úy và lãnh thưởng Huân chương Thập tự Sắt hạng 2 vì thực hiện tốt các hoạt động trinh sát sau lưng phòng tuyến quân Pháp phía bắc Orléans.[1][3] Sau khi chiến tranh chấm dứt, Mackensen rời quân ngũ và nhập học Đại học Halle (Sachsen-Anhalt), nhưng đến tháng 4 năm 1873 ông tái ngũ với Trung đoàn Khinh kỵ binh Hộ vệ 2. Năm 1879, Mackensen kết hơn với Doris (Dorothea) von Horn, con gái Tổng đốc Đông Phổ Karl von Horn và là em gái một đồng đội của Mackensen đã chết trong chiến tranh chống Pháp. Hai người có với nhau hai con gái và ba con trai.[4]

Năm 1891 Mackensen được đặc cách phân công vào Bộ Tổng tham mưu mà không cần phải học 3 năm ở Học viện Quân sự Potsdam. Tại Bộ Tổng tham mưu, Mackensen được thăng cấp đại úy và được phân công vào bộ phận nghiên cứu tình hình Nga, Áo-Hung và Balkan.[5] Trong một cuộc hội kiến vào tháng 2 năm 1891, Mackensen đã được Thống chế nguyên Tổng tham mưu trưởng Helmuth von Moltke nhận xét là "một con người dễ mến".[4] Cùng năm đó, Mackensen được cử làm trợ lý cho tân Tổng tham mưu trưởng - Thượng tướng Bộ binh Alfred von Schlieffen.[1] Trong những lần tháp tùng Schlieffen đi huấn luyện thực địa cho cán bộ tham mưu, Mackensen đã gây ấn tượng tích cực với Hoàng đế Wilhelm II.[1] Ngày 17 tháng 6 năm 1893, Wilhelm phân công Mackensen làm Trung đoàn trưởng Trung đoàn Khinh kỵ binh Hộ vệ 1. Các thành tích của Mackensen trong việc chỉ huy, chỉ đạo trung đoàn đã khiến Wilhelm II càng ưu ái ông hơn, và đến ngày 27 tháng 1 năm 1898 Mackensen được triệu về kinh đô làm trợ lý cá nhân của hoàng đế.[5][6] Ông là người bình dân (không phải quý tộc) đầu tiên được thọ lãnh chức vụ này. Ngày 27 tháng 1 năm 1899, nhân dịp "tứ tuần đại khánh" của Wilhelm II, Mackensen được nhà vua phong hàm quý tộc và từ đấy ông mang tên August von Mackensen.[7] Tiếp theo đó Mackensen đảm nhiệm chức Lữ đoàn trưởng Lữ đoàn Kỵ binh Hộ vệ từ năm 1901 đến năm 1903, rồi từ lên chức Sư đoàn trưởng Sư đoàn 36 đóng tại Danzig (nay thuộc Ba Lan) từ năm 1903 đến năm 1908.[8]

Năm 1905, vợ Mackensen là Horn chết; hai năm sau, ông kết hôn với Leonie von der Osten khi người này mới 22 tuổi. Khi Schlieffen về hưu (1906), Mackensen được coi là người có tiềm năng kế nhiệm chức Tổng tham mưu trưởng, nhưng chức vụ này sau cùng đã thuộc về Đại tướng Helmuth von Moltke – cháu của cố Thống chế von Moltke được nêu trong đoạn trên. Năm 1908 Mackensen (bấy giờ đã leo đến cấp Thượng tướng Kỵ binh) lãnh chức Tư lệnh Quân đoàn XVII đóng sở chỉ huy tại thành phố Danzig, tỉnh Tây Phổ.[9] Thái tử Wilhelm - trưởng tử của hoàng đế khi ấy là một quân nhân tại ngũ trong Quân đoàn XVII, nên nhà vua đã chỉ thị cho Mackensen quan tâm sát sao thái tử và dạy cho cậu ta cưỡi ngựa thuần thục.[10]